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Обо мне 


› Эксперт в инфраструктуре, сетях и контейнерах 
СКА, ССМР Enterprise, GCP Architect, АНСЕ 


» Построил облако в Казахстане (Транстелеком) 
и развиваю облачную платформу в Yandex.Cloud 


» Участвовал в проектировании и внедрении 100+ 
проектов для Enterprise и Service Provider, живущих 
до сих пор в продакшне 


Кому будет полезен зтот доклад 


| ИТ-специалисту, менеджеру и архитектору, 
который: 


) жил в мире оп-ргет, хостингов и Vmware-based 
облаков 


2 столкнулся с миром публичных облаков 


Содержание 


о Что такое публичное облако в 2021 году 
Изменение парадигм в облаке 
Чек-лист про Іааз5 


Чек-лист про Раа5 


Что такое публичное облако в 
2021 году 


С точки зрения Gartner 


Magic Quadrant 
for Cloud Infrastructure 
and Platform Services 


Challengers 


Alibaba Cloud Ө 


Oracle Ө 


а oem 


Tencent Cloud 


Ability Niche Players 
to Execute 
Completeness of Vision _————> 


Источник gariner.com 


Leaders 


Ф Amazon Web 
Services 


Ф Microsoft 
Ө Google 


Visionaries 


As of August 2020 


Основные покупатели — это мер-сервисы 


Тор Cloud Hosting Buyers” 


Most of the top global cloud hosting buyers are concentrated in media and internet services. 
We highlighted nine of the largest spenders by their estimated monthly spend on cloud hosting services. 


NETFLIX twitter 


facebook 


$59M / month $5М / month $24M / month 
| о? е, 
(0) Pinterest Вафъве Rakuten 

С 

$6M / month $20M / month $3M / month 
butch HE ` се“ 
ИШЕ HOLDINGS 

$16М / month $6M / month $3M / month 


“Intricacy report content.intricately.com/2019-cloud-market-share-report 


Картинка в Yandex.Cloud 


Тор-50 клиентов | 


» 50% клиентов — зто SaaS ) 


) 50% клиентов - это enterprise 
applications ) 


Workloads 


~40% крупных клиентов используют 
к85 (минимум поп-ргоа сред) 


Но только ~25% ресурсов compute - это 
кд5, т. е. многие сидят еще на ВМ или 
ВМ и контейнерах 


Почему вообще облако 


| Lower Time to Market 
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| Automate everything 
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| Scale everything 
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Изменение парадигм в облаке 


Horizonal Scaling vs Vertical Scaling 


| Рекомендации: 


» Разделите свой workloads на stateless 
и stateful 


» Stateless workloads 
автомасштабируются горизонтально 


» Stateful workloads как минимум вручную 
масштабируются вертикально 


Vertical Scaling 


Increase size of 
instance (RAM, CPU, 
etc.) 


Horizontal Scaling 


Add more instances 


Зоны доступности и регионы 


вместо стоек и ЦОД 


1. Зона доступности -- обычно ДЦ 


2. Регион — обьединение ДЦ 
по географическому принципу 


| Рекомендации 


› Изучите scope сервисов, которые 
вы планируете использовать: 
есть сервисы зональные, есть 
региональные, а есть глобальные 
(а еще у сервиса могут быть разные 
режимы работы) 
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Scaling! = High Availability 


| Scale и облака прибавляют новых 
| сценариев отказа 


1. Каскаднье coon 
2. 0005 от мониторинга 


3. Апдейть в зоне доступности 


| Рекомендация 


› Закладывайте сценарии отказа 
в сайзинг проекта 


sre.google/books/ 


тр, 
фа = г 


The 


Ваау | 
Workbook 


Practical Ways to Implement SRE 


Edited by Betsy Beyer, 
Niall Richard Murphy, David K. Rensin, 
Kent Kawahara & Stephen Thorne 


КВОТБ! 


Compute Engine quotas Сервись с потреблением 


You сап иѕеа С 
projects | 


ite Engine resource up to its quota. Google Cloud Platform 
arate Compute Engine quotas. If you reach a resource quota, о Compute Cloud 


та 


уси сап request an increase їо use more of that resource. Learn more 


Request increase 


Resource Percent used ~ Use 


Использованиє 


Количество образов 


Networks eee 100% 5015 

Количество снимков дисков 
In-use IP addresses global ннен Елең H e 87% 20 of 23 
Static IP addresses us-central1 ана ЕЕЕ ЕЕ ай) 86% бої? “ез” 

Общий объём 550-дисков 
Target pools [SS SS Sas В 82% 41 of 50 
Instance templates SSS =sa6 81% 81 of 100 жоли clean 
in-use IP addresses еџгоре-ме5 жш БЕХ КО б 78% 18 of 23 
Managed instance groups us-central1 E aes eee 78% 


Количество GPU 


Health checks Ee. ES == 76% 


CPUs ешоре-угезі1 SS Ss es 71% Общий обљем снимков дисков 
Total Local SSD disk reserved (GB) us-central1 Ss ЕЛ 70% 7,125 of 10,240 
Backend services E REH НВ 62% 31 of 50 А А teense тя 
Forwarding rules BSA чани 60% 30 of 50 


Количество виртуальных машин 


CPUs азја-еа5 И as | е рр 58% 14 of 24 


Firewall rules бынан Rah 55% 55 of 100 


5 - = Ер а рц? А Количество дисков 

In-use IP addresses asia-east шешер aaa 48% 11 of 23 
VPN tunnels есен ПЕ 40% А of 10 

Количество vCPU виртуальных машин 


Instance groups us-central1 аа ЕЕ 40% 60 of 150 
Routes aa 36% 36 of 100 


Общий объём КАМ виртуальных машин 


URL maps фен шн 36% 18 of 50 
Total SSD disk reserved (68) us-central1 sm 35% 718 of 2,048 


Количество групп виртуальных машин 
Target HTTP proxies cl ИИ 32% 16 of 50 
551 СЕНТІҒІСАТЕЗ Sar 30% 15 of 50 


Static IP addresses global ен В 29% 2 of 7 Virtual Private Cloud 


Ресурсы не ограничены, HO есть квоты 


) 


Что зто 


Квота — обьем ресурсов, которые 
можно использовать. Квота обьічно 
повышается через саппорт 

(то есть небыстро) 


Рекомендации 


Внимательно читайте раздел о квотах 
и лимитах всех сервисов, которые 
планируется использовать 


Постоянно следите за квотами, 
чтобы избежать инцидентов 


Чек-лист про laaS 


Compute VM 
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Compute VM: 


переподписка 
Zone A 

аи аи, MACK саннай А 
: | 
| | 
| | 
| 5% 20% 20% | 
| СРУ СРУ СРУ ( 
| | 
| | 
У (naa MACK #е---------“ қ 

100% 100% 100% 

CPU CPU CPU 
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Compute УМ — платформы 


General purpose platform Intel Broadwell 


Г ж 
| | 
| | 
| | 
| VM VM | 
| | 
| | 
' | 
| CED | мс | ЖУН Cite > | 
| | 
| VM VM | 
| | 
| | 
| | | 
| | 
| | 
\ | 


GPU platform Intel Cascade Lake 
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Compute VM 


) 


Особенности 


Обычно Зональнье ВМ с x86 или ARM- 
архитектурой не могут мигрировать 

в другой ДЦ 

Существуют режимь с гарантированным 


и негарантированным резервированием 
СРО 


Отличаются платформами 
(вендор/модель CPU, число CPU 
на хост, соотношение CPU/RAM) 


clck.ru/Son8sT 


Рекомендации 


Резервируйте сотрще-ресурсы вашего 
приложения в разных зонах доступности 


Используйте для продакшена 

гарантированные выделенные CPU: это даст вам 
предсказуемость масштабирования. Уплотняйте 
нагрузки, которым надо меньше 1 СРО, с 
помощью контейнеризации 


Мониторьте новости о выходе новых платформ, 
чтобы не оказаться в ситуации, когда кончатся 
ресурсы текущей. 
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Сеть VPC 


VM 


Unicast Yes 
Ф&— > 


Broadcast No 


VM 
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Сеть VPC latency 


Region West 


Region East 


Сеть VPC 


| Особенности | Рекомендации 

2 Уникальная в каждом облаке. Не во всех облаках A Изучите правила работы сети, поддерживаемые 
есть 12 (точнее, есть частично только в AWS) протоколы 

» Состоит из уровня SDN и физических сетей, ) Изучите, какие задержки вам стоит ожидать в 
настроенньх по своим правилам зонах доступности, между зонами, между 


регионами. Очертите границу синхронной и 


A Обычно существуют разные tier „ 
асинхронной репликации для ваших систем 


производительности сетей 
» _Сделайте нагрузочное тестирование: это 
позволит понять, требуется ли повьшенная 
производительность сети 


OFF [и] 
Ој 


yandex.ru/dev/tank/ 


Сеть Load Balancer 
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Сеть Load Balancer 


External Network Load Balancer 


nginx nginx2 паіпхЗ 
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Nginx Ingress Controller 


Application Deployment 
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Сеть Load Balancer 


| Особенности 


› Уникальный набор в каждом облаке — даже 
в вопросе scope. Есть внутренние и внешние 
балансеры 


) Обычно бывают: 


Сетевые балансировщики — работают на уровне L3/L4. 
«Тупые», но линейно скейлятся и недорогие 


Application балансировщики — работают на уровне L7. 
«Умные», но обычно скейлятся лесенкой и могут дорого 
СТОИТЬ 


| Рекомендации 


› Изучите типы балансировщиков в облаке, 
их зсоре, поддержку протоколов 


A [lo типам балансировщиков 
Вы не сможете жить без сетевых балансировщиков в облаке 


Application Load Balancer опционален, тут вам выбирать — 
брать у облака и крутить свой 
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Блочное хранилище 
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Блочное хранилище 


VM ——————————————————————ә 


100 Gb — 100 IOPS 


VM 


200 Gb — 200 IOPS 
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Блочное хранилище — агрегация 


100 IOPS 300 IOPS 


Гостевая OS Гостевая OS 


ADB ADB ADB ADB ADB ADB 
segment segment segment segment segment segment 
| | | | 


Host OS Host OS 
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Блочное хранилище — Tier 


Блочное хранилище 


| Особенности 


у Зональные 


A Лимитировань в производительности 
в зависимости от размера. Лимит (зто верхняя 
граница) -- зто не гарантия 


» Per VM лимиты выше, чем per disk. 
A иногда их нет 


>) Есть разные специальные диски для high ІО — 
либо Premium Tier, либо local SSD 


clck.ru/SonGM 


Рекомендации 


Реплицируйте з!а!е!!-приложения, 
как минимум в другую А/ 


Не хватает перформанса диска — 
увеличьте его размер 


Диски можно агрегировать на уровне ОС 
(RAID 0 или средствами софта) 


Сделайте нагрузочное тестирование: это 
позволит понять, требуется ли повышенная 
производительность диска 
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Чек-лист про PaaS 


Kubernetes Zone Labes 
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Kubernetes Cluster Autoscaler 
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Kubernetes update 


Node group 
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Cluster External Traffic Policy 


Cloud Load Balancer 
— | Service: туарр1 


Ku | Kube- 


proxy proxy 
App: App: 
туаррі myapp2 


Kube- | 
proxy 
App: App: 
туаррї myapp2 
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Local External Traffic Policy 


Cloud Load Balancer 


Service: туарр1 


Cloud Load Balancer 


Service: myapp2 
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Kubernetes 


Особенности 


Managed Kubernetes автоматом помечаєт 
нодь облачньми лейблами -- зонами 
доступности и Т. Д. 


Cluster Autoscaler тоже умеет оперировать 
зонами доступности 


Обновление в Managed Kubernetes — 
это часто создание новых нод, drain 
и удаление старых нод 


Интеграция с балансировщиком по дефолту 
создает СІиѕїег-режим балансировки 


про 


D 


clck.ru/SonKW 


Рекомендации 


Делайте апії-аНіпіу-правила, исходя из ограничении: 


Можно раскидать deployment bi без дисков 
по разным нодам 


Но StatefulSet,KoTOpbIN использует диски, возможно, придётся 
раскидывать по разным зонам доступности, чтобы сервис 
работал при выходе из строя одной AZ 


Комбинируйте а пну-правила с Cluster Autoscaler 
для равномерного скейлинга по зонам доступности 


Используйте podDistruptionBudget и настройки Node 
Deployment Policy для минимизации даунтаймов при 
апгрейде узла. Меняйте RollingUpdateStrategy 

для минимизации даунтаймов при апдейте deployment 


Подключайте Local External Traffic Policy механизм 
интеграции с балансировщиком, OH уменьшит 
latency ваших пользовательских запросов 
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Object Storage 


Proxy Server 


Proxy Server 


Proxy Server 


Proxy Server 


Proxy Server 


Proxy Server 


Object Storage 


Object Storage 


Proxy Server 


Proxy Server 


Proxy Server 


Proxy Server 


Proxy Server 


Proxy Server 


Object Storage 


Object Storage — офлоад нагрузки 


три 
ны En ime 
/арі/м 1 С) 
Kubernetes 
АРІ Gateway 
/static/ О 


Object Storage 


Object Storage 


| Особенности 


A Это не файловое хранилище 


» Работает как НТТР/5 Endpoint. 
53-протокол используйте не везде 


A Бесконечно масштабируется, но будет брать 
за зто деньги 


Рекомендации 


Пользуйтесь SDK для работь с Object Storage, 
не надо использовать fuse: он by design будет 
работать медленно 


Офлоадите весь статический контент 
в storage. В некоторых облаках можно 
еще добавлять в Storage свой домен 
и 7! 5-сертификат 


Трафик из Object Storage может бьть дорогим — 
позтому используйте СОМ 
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Databases 


ө 


Amazon RDS 


Databases 


) 


Особенности 


Есть орепѕоигсе-варианты баз. 
Они preprovisioned и имеют рад ограничений. 
Обычно могут горизонтально масштабироваться 


Есть проприетарные базы — они обычно 
serverless, масштабируются как хотят, 
но могут быть vendor lock 


[m] 
[m] 


[m] 


clck.ru/SonMJ 


Рекомендации 


Внимательно изучите ограничения managed 
базь в рамках 


Лимитов 


Возможностей и средств масштабирования Compute 
и Storage 


Наличия инструментария автомасштабирования 


Внимательно изучите интерфейсы и лимиты 
проприетарной СУБД, чтобы принять решение 
об ее использовании или нет 
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